遗忘门（Forget Gate）

概述 (50-200字符)

LSTM 三个门之一，决定从细胞状态中丢弃什么信息。输出 fₜ ∈ [0, 1]，f=0 完全遗忘，f=1 完全保留。是 LSTM 解决梯度消失的关键——当 fₜ ≈ 1 时梯度无损传递。

关键内容 (≥300字符, 用双链)

1. 数学公式：fₜ = σ(Wf · [hₜ₋₁, xₜ] + bf)，其中 σ 为 Sigmoid激活函数，输出范围 [0, 1]。输入为上一时刻隐藏状态 hₜ₋₁ 和当前输入 xₜ 的拼接。
2. 功能直觉：遗忘门控制 细胞状态（Cell State） 中旧信息的保留比例。f=0 时完全清空细胞状态（擦除），f=1 时原封不动传递（保留）。在语言模型中，遇到句号时遗忘门可能清除上一句的主语信息。
3. 梯度意义：细胞状态的梯度传播 ∂Cₜ/∂Cₜ₋₁ = fₜ。当遗忘门接近 1 时，梯度通过加法直接传递而不衰减，这是 LSTM 解决 梯度消失 的核心机制。对比标准 RNN 需要连乘小于 1 的数导致指数衰减。
4. 与输入门协作：遗忘门和 输入门（Input Gate） 共同决定细胞状态的更新：Cₜ = fₜ ⊙ Cₜ₋₁ + iₜ ⊙ C̃ₜ，一个控制"遗忘旧信息"，一个控制"加入新信息"。

来源

• Long Short-Term Memory (1997 论文) — Hochreiter & Schmidhuber (1997) 提出遗忘门概念
• raw/articles/ai-papers/machine-learning/04_lstm_1997.md — 遗忘门的数学公式与语言学直觉

相关

• LSTM（长短期记忆网络） — part_of（LSTM 的核心组件）
• 细胞状态（Cell State） — relates_to（控制细胞状态的遗忘）
• 输入门（Input Gate） — relates_to（协作更新细胞状态）
• Sigmoid激活函数 — uses（遗忘门的激活函数）
• 梯度消失 — relates_to（遗忘门解决的核心问题）